搜索
在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！
前天刷 X，刷到一个叫 Farza 的老哥，做了件牛 X 的事。
Karpathy 表示，大多数人使用 LLM 处理文档的方式，基本都类似于 RAG：你上传一组文件，模型在查询时检索相关片段，然后生成答案。这种方式是有效的，但问题在于每一次提问，模型都在从零重新发现知识。没有积累。
官方宣传语：你是否隐隐担忧，自己或身边的人正在：参与一场席卷所有人的技能大退化？遭受 LLM 诱发的？一个名为 Sam Lavigne 的大学教授，最近发布并开源了一款名为「Slow LLM」的 AI 工具。
京东云直接把小龙虾搬上云端，单周用户暴涨300%。
在此背景下，浙江大学研究团队提出了 EasySteer——一个基于 vLLM 构建的高性能、可扩展 LLM Steering 统一框架。该框架通过与 vLLM 推理引擎的深度集成，相比现有 Steering 框架实现了 10.8-22.3 倍的推理加速，同时提供更细粒度的干预控制，并为八大应用场景提供了预计算 Steering 向量与完整复现示例，方便研究者快速上手和对照复现。
最近几年，大模型赛道好不热闹。
在当前的 LLM 开发中，后训练阶段通常被视为赋予模型特定能力的关键环节。传统的观点认为，模型必须通过强化学习（如 PPO、GRPO 或 RLHF）和进化策略（ES）等算法，在反复的迭代和梯度优化过程中调整权重，才能在特定任务上达到理想的性能。
Reducto 在去年 6 个月内接连完成分别由 Benchmark 与 a16z 领投的两轮融资，估值翻了 3 倍，达到 6 亿美元。我们认为，Reducto 切中了 AI 应用走向生产环境过程中的“精确数据摄取”瓶颈。
现有的 LLM 自动化 CUDA 方法大多只能优化单个 Kernel，面对完整的端到端 GPU 程序（如整个 VisionTransformer 推理）往往束手无策。